iT邦幫忙

2024 iThome 鐵人賽

DAY 6
0
AI/ ML & Data

從「這次不會壞吧」到自動化的未來:從 DevOps 到 MLOps,改造模型佈署之旅系列 第 6

從「這次不會壞吧」到自動化的未來:06 MLOps 系統的基本功能需求

  • 分享至 

  • xImage
  •  

在設計 MLOps 系統時,主要會以開發團隊目前的機器學習專案開發流程為基礎,並以此設計系統。下圖是一般常見的模型開發流程,可以看到在取得原始資料後,會先做不同版本的資料前處理,接著依據不同版本的前處理方式分別建立模型,再對各個模型進行驗證與比較,最後選擇最好、最穩定的模型部署上線。這一系列的流程多半會由開發團隊中的多位成員共同協作完成,因此,如何讓團隊成員間可以更好地協作、減輕成員負擔,就是考量 MLOps 基本功能需求的首要目標。

https://ithelp.ithome.com.tw/upload/images/20240920/20169475l8IRTXhfCi.png

在整個開發流程中,最為繁瑣卻最重要的部分就是確保各個流程可以被所有成員管理、重現、紀錄、比較,要做到這點,版本控制及實驗紀錄的功能也就不可缺少。其中,版本控制包含所有流程的程式碼版本控制,以及資料前處理的資料版本控制,在不同的模型開發紀錄當中,用了哪個版本的程式碼、資料都應該一併被紀錄下來,以方便事後比較與重現。

最後,在確定好要部署的模型後,便需要透過建立推論用 API 的功能將模型部署上線,或與其他 API 串接。除此之外,如果開發團隊希望模型可以定期自動化重新訓練,那就會另外再加上模型訓練自動化排程的功能,讓模型可以定期依據新蒐集到的資料重新訓練。讀者可以參考上圖了解這些不同的需求。

那麼,在了解機器學習專案的開發流程與基本功能需求後,我們該如何實現這些功能呢?目前市面上並沒有一個具備所有 MLOps 所需功能的套件,但是,隨著 MLOps 的發展,現在網路上已經可以找到許多針對不同需求而開發的套件,讓使用者可以依照所需挑選套件,最後整合成系統。明天將就圖片中的基本功能需求挑選套件,並說明所對應的功能。

完整內容 >> https://bit.ly/47zrJih
Line 官方帳號,看最新技術文章:https://user137910.pse.is/aif2024ironman

撰稿工程師:許睦辰


上一篇
從「這次不會壞吧」到自動化的未來:05 MLOps 導入優缺點比較
下一篇
從「這次不會壞吧」到自動化的未來:07 套件的選擇
系列文
從「這次不會壞吧」到自動化的未來:從 DevOps 到 MLOps,改造模型佈署之旅11
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言